Что вы знаете про калибровку уверенности/вероятности?
Калибровкой уверенности или вероятности называют процесс корректировки прогнозируемых данных классификатора, чтобы они точнее отражали реальную вероятность события.
Допустим, мы решаем задачу классификации с n классами. Модель выдаёт некоторые оценки принадлежности объектов к классам — уверенности. После этого каждый объект можно отнести к классу с максимальной оценкой. Возникает вопрос: какова вероятность, что ответ верный? Эту вероятность хотелось бы оценивать на этапе формирования ответа.
«Удобный» вариант сделать это — использовать предположение, что эта вероятность равна максимальной оценке алгоритма (уверенности). Если данное равенство выполняется с достаточной точностью, то можно сказать, что «классификатор хорошо откалиброван». Условия калибровки, в принципе, могут быть и другими. Например, можно хотеть, чтобы вообще все оценки соответствовали вероятностям.
Зачем нужна калибровка?
▫️Чтобы понимать, насколько результатам алгоритма можно доверять. ▫️Чтобы точнее решать задачи. Так, в языковых моделях при генерации текстов используются вероятности появления отдельных токенов.
Что вы знаете про калибровку уверенности/вероятности?
Калибровкой уверенности или вероятности называют процесс корректировки прогнозируемых данных классификатора, чтобы они точнее отражали реальную вероятность события.
Допустим, мы решаем задачу классификации с n классами. Модель выдаёт некоторые оценки принадлежности объектов к классам — уверенности. После этого каждый объект можно отнести к классу с максимальной оценкой. Возникает вопрос: какова вероятность, что ответ верный? Эту вероятность хотелось бы оценивать на этапе формирования ответа.
«Удобный» вариант сделать это — использовать предположение, что эта вероятность равна максимальной оценке алгоритма (уверенности). Если данное равенство выполняется с достаточной точностью, то можно сказать, что «классификатор хорошо откалиброван». Условия калибровки, в принципе, могут быть и другими. Например, можно хотеть, чтобы вообще все оценки соответствовали вероятностям.
Зачем нужна калибровка?
▫️Чтобы понимать, насколько результатам алгоритма можно доверять. ▫️Чтобы точнее решать задачи. Так, в языковых моделях при генерации текстов используются вероятности появления отдельных токенов.
#машинное_обучение
BY Библиотека собеса по Data Science | вопросы с собеседований
Warning: Undefined variable $i in /var/www/tg-me/post.php on line 283
Telegram today rolling out an update which brings with it several new features.The update also adds interactive emoji. When you send one of the select animated emoji in chat, you can now tap on it to initiate a full screen animation. The update also adds interactive emoji. When you send one of the select animated emoji in chat, you can now tap on it to initiate a full screen animation. This is then visible to you or anyone else who's also present in chat at the moment. The animations are also accompanied by vibrations. This is then visible to you or anyone else who's also present in chat at the moment. The animations are also accompanied by vibrations.
The lead from Wall Street offers little clarity as the major averages opened lower on Friday and then bounced back and forth across the unchanged line, finally finishing mixed and little changed.The Dow added 33.18 points or 0.10 percent to finish at 34,798.00, while the NASDAQ eased 4.54 points or 0.03 percent to close at 15,047.70 and the S&P 500 rose 6.50 points or 0.15 percent to end at 4,455.48. For the week, the Dow rose 0.6 percent, the NASDAQ added 0.1 percent and the S&P gained 0.5 percent.The lackluster performance on Wall Street came on uncertainty about the outlook for the markets following recent volatility.
Библиотека собеса по Data Science | вопросы с собеседований from sg
